Hallucination-Aware Multi-Agent RAG via Internal Attention Rewards
幻觉感知的多智能体 RAG：用内部注意力信号做奖励塑形
🧭 多智能体 RAG · 注意力奖励塑形 ★ 深度解读
University of Technology Sydney · University of Auckland
用 TruthfulQA 校准的注意力头范数 critic 作为幻觉风险奖励，联合优化多智能体 RAG 的 query 规划、证据选择和答案生成，同时提升任务指标并降低幻觉率
📌 工作参考价值（4 点）
- 将生成链路拆成 query planner / evidence selector / answer generator 三个 role-specific LoRA adapter，共享 frozen backbone，用统一 terminal reward 做 cooperative PPO；电商问答、商品摘要、广告文案生成等场景可以用较低训练成本同时优化多个子策略。
- 用 attention head norms 训练轻量离线 critic（TruthfulQA 校准）作为 hallucination 风险 reward shaping 项，无需每次 rollout 调用外部 LLM judge，工程开销小，且可跨任务迁移到业务数据，不必为每个业务域标幻觉标签。
- 保持 backbone 和 critic 冻结，只更新低秩 adapter，避免奖励函数漂移；先监督 warm start 再 RL，降低探索难度；风险惩罚权重 λ 需要小量（论文用 0.08）平衡 task reward 与风险信号。
- 评估时不要只看 EM/F1，可引入 AHR（Answer Hallucination Rate）分离“答案重叠”与“证据忠实度”；内部信号适合作为弱监督辅助，而非替代任务奖励。